- 综合排序
- 最热优先
- 最新优先
- 来自专栏GLM 技术文章
BPO：灵活的 Prompt 对齐优化技术
一种方案是，人向模型对齐。于是有了 「Prompt工程师」这一岗位，专门撰写适配 LLM 的 Prompt，从而让模型能够更好地生成内容。而另一种更为有效的方案则是，让模型向人对齐。 这也是大模型研究中非常重要的问题，无论是 GPT 还是 Claude，在对齐技术上花费大量的时间与精力。但，随着模型规模变大，基于训练的对齐技术也需要耗费更大量的资源。 因此，我们提出另外的一种方案，即黑盒提示对齐优化技术（Black-box Prompt Optimization），通过优化用户指令，从输入角度对模型进行对齐。 三、研究者说问：BPO 和反馈学习方法（PPO、DPO）以及 Prompt Engineering方法（如OPRO）的区别是什么？ 与 OPRO 对比，BPO 最大的特点在于更加通用，OPRO 等现有的 Prompt Engineering 技术大多需要针对特定的数据进行搜索，并且会搜索得到一个针对特定任务的提示。
66010编辑于 2023-12-22 - 来自专栏AIGC新知
国内做AI应用，没做好prompt安全防护和对齐？凉凉
上一篇浅浅地写了关于提示词技术的概述，主要从文本提示词展开来说，LLMs主要靠优质的prompt得到期望的输出，随着多模态大模型的发展，多模态提示词也逐渐出现，当然仅仅靠提示词无法达到预期的输出效果，还得靠外部资源 我们现在着重提出提示词的安全性和对齐性相关问题。 提示攻击 SUMMER 提示黑客攻击，即使用提示词来利用 LLMs 的方法。 对齐/一致性 SUMMER 确保语言模型（LLMs）在使用过程中与用户在特定任务上的需求保持高度一致性是实现其有效部署的关键。
29210编辑于 2024-10-08 - 来自专栏小七的各种胡思乱想
解密prompt系列27. LLM对齐经验之如何降低通用能力损失
只不过prompt tunning的prompt使用的是虚拟Token。想更多了解Prompt Tuning的童鞋看这里解密Prompt系列3. 冻结LM微调Prompt: Prefix-tuning & Prompt-tuning & P-tuning第二阶段Fine-tuning默认在输入层Embedding前拼接Prompt Embedding 论文测试后也发现Lora的效果并不好能否把两个阶段合二为一，既加上一个虚拟Prompt，同时微调模型和prompt，论文测试后发现效果和SFT相差不多，都会有过拟合。 毕竟这种微调方式无法引导模型把格式学到Prompt Embedding上。 这一点我们在前文讨论过详见LLM对齐经验之数据越少越好？2.
1.2K20编辑于 2024-04-10 - 来自专栏小七的各种胡思乱想
解密Prompt7. 偏好对齐RLHF-OpenAI·DeepMind·Anthropic对比分析
面向以上1个或多个原则，RLHF只是其中一种对齐方案，把模型输出和人类偏好进行对齐。 这里DeepMind使用如下Hard Prompt Tunning来构建模型，其实就是引入一些前置语义信息，让模型在小样本上表现更好。更多细节>>解密Prompt系列2. 冻结Prompt微调LM图片整体打分整体打分=偏好打分+所有规则的未违反概率之和+长度惩罚(保证回答简洁)+is_valid(模板检查)。 我个人也更偏好2H，因为我始终没太想明白Honesty如何能通过对齐实现。 偏好对齐使用RL和SFT的差异？
3K01编辑于 2023-05-21 - 来自专栏小七的各种胡思乱想
解密Prompt系列16.LLM对齐经验之数据越少越好？LTD & LIMA & AlpaGasus
LLM Agent中间插个队，总结下指令微调、对齐数据相关的方案，已经凑够7篇论文可以召唤神龙啦！ Data-Centric的观点比较一致：指令微调也就是对齐阶段的数据质量>>数量，少量+多样+高质量的对齐数据，就能让你快速拥有效果杠杠的模型。 如果你对指令微调还不甚了解，建议先看看下解密Prompt系列4. 升级Instruction Tuning。 当前对指令微调SFT的认知有几种 抽象派：把模型输出和人类偏好进行对齐 务实派：赋予模型任务指令的理解和完成能力 两个思路其实殊途同归，重心落在任务+对齐，既基于用户指令应该召回模型预训练学习的哪些知识 除了使用已有的QA数据，几位作者还人工构建了200条基于个人偏好随机创建的prompt，以及编写的回答，在回答编写过程中核心是注意回答风格的一致性。重要的事情说三遍，一致性，一致性，一致性。
1.6K90编辑于 2023-10-05 - 来自专栏小七的各种胡思乱想
解密Prompt系列17. LLM对齐方案再升级 WizardLM & BackTranslation & SELF-ALIGN
SFT训练和常规略有不同，采用了反向对齐，也就是给定Output生成Instruction(P(X|Y))的条件生成任务。 ，在SFT阶段就让模型进行偏好对齐。 让模型先基于外化的偏好原则生成符合3H原则的回答，再通过SFT对齐把偏好内化到模型参数中，因为指令样本是Base模型自己生成的所以叫Self-Alignment。 对抗样本我们在解密Prompt7. 偏好对齐RLHF章节针对Anthropic如何设计对抗样本进行了很详细的介绍，这里不再展开。 这个问题要是有想法欢迎评论区留言~ 为了解决以上问题，论文使用第一步对齐微调后，已经内化3H原则的模型，使用以下的Prompt指令引导模型重新对以上的260K指令进行回答生成，引导模型给出更丰富，跟全面的回答
1.8K111编辑于 2023-10-26 - 来自专栏CSDN博客专家-小蓝枣的博客
PyQt5 技术篇-设置alignment对齐方式。Qt Designer设置文本对齐方式。居中、左对齐、右对齐、上对齐、下对齐。
通过alignment设置，展开后可以设置水平方向或垂直方向的对齐方式。 PyQt5设置文本对齐方法： self.label.setAlignment(QtCore.Qt.AlignRight|QtCore.Qt.AlignVCenter) 两个参数一个是横向靠右，一个是纵向居中 Qt Designer设置文本对齐方法： 如图，水平默认的左对齐我改为了右对齐。 ?
10.7K30发布于 2020-09-23 - 来自专栏韩曙亮的移动开发专栏
【CSS】vertical-align 垂直对齐 ( 块级元素对齐 | 行内元素 行内块元素对齐 | 基线对齐 | 垂直居中 | 顶部对齐 | 底部对齐 )
可以设置四种对齐 : baseline 基线 / top 顶线 / middle 中线 / bottom 底线 ; 基线对齐 : 图片底部位置 与 文字基线 对齐 ; 这是默认的对齐方式 , 如果是 : 图片顶部 与 文字顶线 对齐 ; vertical-align: top; 底部对齐 : 图片底部 与 文字底线 对齐 ; vertical-align: bottom; 二、vertical-align 垂直对齐代码示例 ---- 代码示例 : <! ; } .three { /* 顶线对齐 - 图片顶部与文字顶线对齐 顶部对齐*/ vertical-align: top; } .four { /* 底线对齐 - 图片底部与文字底线对齐 ="one"> 基线对齐 : 图片底部与文字基线对齐
中线对齐 : 图片中心与文字中心对齐
5.3K30编辑于 2023-04-24 - 来自专栏我爱计算机视觉
Align and Prompt：Salesforce&ANU提出ALPRO，进行细粒度的视频文本对齐！代码已开源！
本文分享论文『Align and Prompt: Video-and-Language Pre-training with Entity Prompts』，由 Salesforce&ANU 提出ALPRO 在本文中，作者提出了Align and Prompt：一个新的视频和语言预训练框架（ALPRO），该框架在稀疏采样的视频帧上运行，在没有显式目标检测器的情况下实现更有效的跨模态对齐。 在本文中，作者使用一个新的视频和语言预训练框架：Align and Prompt（ALPRO）来应对这些挑战。 VTC和PEM的动机都是加强视频和文本之间的跨模态对齐。VTC强调捕获视频文本对的实例级对齐，PEM鼓励模型将局部视频区域与文本实体对齐。 PEM则是对随机裁剪的帧通过prompt操作进行类别的预测，然后将预测的结果作为伪标签来监督预训练的过程，从而使模型能够感知视频帧中的局部区域。
1.2K10编辑于 2022-01-20 - 来自专栏NLP/KG
Prompt工程师指南应用篇：Prompt应用、ChatGPT|Midjouney Prompt Engineering
Prompt工程师指南应用篇：Prompt应用、ChatGPT|Midjouney Prompt Engineering 1.ChatGPT Prompt Engineering 主题： 与 ChatGPT A Comparative Study on ChatGPT and Fine-tuned BERT (Feb 2023) A Prompt Pattern Catalog to Enhance Prompt 3.Prompt 应用 在这个指南中，将介绍一些高级和有趣的方式，通过 prompt engineering 来执行有用的更高级别的任务。 请注意，本节正在积极开发中。 例如，我们可以使用它来生成情感分类器的快速样本，如下所示： Prompt: 生成10个情感分析的例子。这些例子被分类为正面或负面。生成2个负面例子和8个正面例子。 DATE_UNDERSTANDING_PROMPT = """ # Q: 2015 is coming in 36 hours.
1.9K30编辑于 2023-05-15 - 来自专栏AI
Prompt工程
这个指南分享了从大型语言模型（有时称为GPT模型）如GPT-4 中获得更好结果的策略和技巧。这里描述的方法有时可以结合使用以达到更好的效果。我们鼓励进行实验，找到最适合您的方法。
61010编辑于 2024-05-09 - 来自专栏数据社
Prompt Engineering
在这里，我们讨论了几个撰写提示（输入模型的内容）的原则和技巧，这些提示将帮助您为您的任务获得最佳的生成结果。选择正确的温度也会对生成质量产生很大的影响，我们会在这里单独讨论温度。
35620编辑于 2023-10-22 - 来自专栏微言码道
高效的ChatGPT Prompt (三) 持续优化Prompt
当然, 参考下这些好的Prompt是非常有价值的. 但写出好的Prompt的一个关键的方式不在于去抄那些好的Prompts, 而是自己持续去改进微调你的Prompts. 根据你的期望,提出一个Prompt, 向ChatGPT提问 获得ChatGPT的响应,比对结果与你的期望的差距, 调整Prompt,弥补ChatGPT忽略的地方 再次获得ChatGPT的响应,检查是否满足你的需求 这才是好的Prompt的生成的最佳方式. 不存在一个放之四海皆标准的好Prompt, 你需要持续的与ChatGPT互动,去微调你的Prompt,才有可能让它更满足你的需求. 这篇文章是我从我过往的文章中随便选出来的 -- JMeter与LoadRunner的简要对比 第一版Prompt 我希望ChatGPT帮助我总结这篇文章说了什么, 所以我的第一版的Prompt是这样的 所以意识到这一点后,我改进了我的Prompt 第二版Prompt 我提供了一段文章,以---开始并结束. --- .... 文章内容过长,忽略.
1K10编辑于 2023-08-31 - 来自专栏三丰SanFeng
字节对齐
对齐的实现： 通常，我们写程序的时候，不需要考虑对齐问题。编译器会替我们选择适合目标平台的对齐策略。当然，我们也可以通知给编译器传递预编译指令而改变对指定数据的对齐方法。 3.结构体或者类的自身对齐值：其成员中自身对齐值最大的那个值。 4.数据成员、结构体和类的有效对齐值：自身对齐值和指定对齐值中小的那个值。 第一个成员变量b的自身对齐值是1，比指定或者默认指定对齐值4小，所以其有效对齐值为1，所以其存放地址0x0000符合0x0000%1=0.第二个成员变量a，其自身对齐值为4，所以有效对齐值也为 4，所以只能存放在起始地址为 指定对齐值：#progma pack (value)时的指定对齐值value。 结构体或者类的自身对齐值：其成员中自身对齐值最大的那个值。 数据成员、结构体和类的有效对齐值：自身对齐值和指定对齐值中小的那个值。
2.8K50发布于 2018-01-16 - 来自专栏数据社
Prompt Engineering
在这里，我们讨论了几个撰写提示（输入模型的内容）的原则和技巧，这些提示将帮助您为您的任务获得最佳的生成结果。选择正确的温度也会对生成质量产生很大的影响，我们会在这里单独讨论温度。
39210编辑于 2023-10-22 - 来自专栏知识同步
内存对齐
使用伪代码表示： min(#pragma pack, 结构最大数据成员长度) * N 规则2 在数据成员完成各自对齐之后，结构(或联合)本身也要进行对齐，对齐也按照#pragma pack指定的数值和结构 规则3 如果没有使用#pragma pack指令来显式的指定内存对齐的字节数，则按照默认字节数来对齐，各个平台的默认对齐规则如下：32位CPU默认按照4字节对齐；64位CPU默认按照8字节对齐。 /4 }; int main() { cout << sizeof(x); //8 } 上面两个如果在#pragma pack(8)下也是一样，因为int是4个字节，小于8，所以是4字节对齐
1.6K30编辑于 2022-12-26 - 来自专栏python3
打印对齐
（1）右对齐 >>> print("PI=%10.3f"%a) #约束一下，这个的含义是整数部分加上小数点和小数部分共计10位，并且右对齐 PI= 3.142 （2）左对齐 >> > print("PI=%-10.3f"%a) #要求显示的左对齐，其余跟上面一样 PI=3.142 二、字符类型（str） 和数值类型类似，不过将%d、%f的占位符变为了%s的占位符。
2.3K20发布于 2020-01-09 - 来自专栏初学C++
内存对齐
内存对齐应用于三种数据类型中：struct、class、union；为什么要内存对齐：提高内存访问效率，减少cpu访问内存次数用sizeof运算符可以得到整个结构体占用内存的大小。 内存对齐：#pragma pack(字节数) 如果用1，那么内存之间就没有空隙了合理使用内存对齐规则，某些节省内存的做法可能毫无意义。 位域：位域定义与结构体定义相仿，其形式为：struct 位域结构名{ 位域列表 }其中位域列表的形式为：type [member_name] : width;图片结构体内存对齐规则：1、首先看有没有 自动补齐，b从4开始，到7结束，然后看c，c中最大是a，4字节，a从下标8开始，到11结束，b从12开始，到13结束，arr从14开始，到33结束，此时stu有26个大小，但是不是4的整数倍，所以内存对齐 ；当结构体中的最大的数据类型的大小 小于 宏定义的大小时，就会以结构体中最大的数据类型的大小来进行内存对齐#pragma pack(8) struct test { char a; int
82240编辑于 2023-09-02 - 来自专栏圆圆的算法笔记
NLP Prompt系列——Prompt Engineering方法详细梳理
这篇文章详细汇总了近2年10篇论文中3种Prompt Engineering方法，主要包括人工构造prompt、自动生成prompt、隐空间prompt3种类型，看看顶会论文中都是如何构造prompt模板并以此提升 1 人工构造prompt 最基础的方法就是基于人工知识来定义prompt模板。Prompt模板可以分为prefix prompt和cloze prompt两类。 2 自动生成prompt 人工构造的prompt依赖人工经验，并且效果也难以保障，一般采用构造多组prompt，对每组prompt的效果分别进行验证对比，或者多组prompt融合的方法提升效果。 prompt模板的效果选择最优的prompt模板，或对多个prompt模板结果进行融合。 3 隐空间中的prompt 上面介绍prompt模板都是具体文本的prompt，另一种类型的prompt是在隐空间的prompt。
4.6K31编辑于 2022-09-22 - 来自专栏golang分享
内存对齐
每种类型的对齐边值就是它的对齐边界。int16（2），int32（4），内存对齐要求数据存储地址以及占用的字节数都是它对齐边界的倍数。 内存对齐的收益 提高代码平台兼容性 优化数据对内存的使用 避免一些内存不对齐带来的坑 有助于一些源码的阅读 为什么要对齐 列举一些常见的单位 位 bit 计算机内存数据存储的最小单位 字节 byte 接下来是c，它要对齐到4字节。所有成员放好还不算完，内存对齐的第二个要求是结构体整体占用字节数需要是类型对齐边界的整数倍，不够的话要往后扩张。所以要扩充到相当地址23这里。 golangci-lint run –disable-all -E maligned 结论 内存对齐是为了cpu更高效的访问内存中的数据 结构体对齐依赖类型的大小保证和对齐保证 地址对齐保证是: Golang 是否有必要内存对齐？ Go 的内存对齐和指针运算详解和实践
5.1K21编辑于 2023-07-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号